3.10 The Law of Parsimony
けちの法則(The Law of Parsimony)はオッカムの剃刀(Occam’s Razor)としても知られる
"Among competing hypotheses, the one with the fewest assumptions should be selected."
「仮説を競う中では、最小の前提の仮説を採用すべき」
オッカムの剃刀を適用した one-standard error method
1. 数値的に最適な見積もりとその標準誤差を考える
2. 手順1で得られた値が1標準誤差以内の性能のモデルを選ぶ
「Simpler models are more accurate」はmyth(神話)と言っている
単純なモデルは理解しやすく、覚えていやすく、理由づけしやすい
しかし予測としては複雑なモデルほど正確ではないこともある
Although a simpler model may not be the most "accurate" one, it may be computationally more efficient, easier to implement, and easier to understand and reason with compared to more complicated alternatives.
「より単純なモデルはもっとも"正確な"モデルではないかもしれないが、より複雑な別のモデルと比べて、それは計算機的にもっとも効率的で、実装しやすく、理解したり理由づけたりしやすいかもしれない」
one-standard error methodの例として、同心円状にプロットされるtoyデータ
300サンプル(クラス1と2、それぞれ150ずつ)
層化を使ってtrain 70% / test 30%に分割
SVMのγパラメタを最適化する
Choosing γ values between 0.1 and 100 resulted in a prediction accuracy of 80% or more.
0.1, 1, 10, 100
決定境界を可視化してγ=0.1と判断
γ = 0.1 seems like a good trade-off
0.001は単純すぎる、10.0はかなり複雑
the performance of the corresponding model falls within one standard error of the best performing model with γ = 0 or γ = 10.
TODO one-standard error methodがいまいちわかっていないので、ここの意味が取れていない
γ = 0は誤植?